On the Estimation of Mutual Information

The mutual information is useful measure of a random vector component dependence. It is important in many technical applications. The estimation methods are often based on the well known relation between the mutual information and the appropriate entropies. In 1999 Darbellay and Vajda [3] proposed a direct estimation methods. In this paper we compare some available estimation methods using different 2-D random distributions. Abstrakt: Vzájemná informace je hojně už́ıvanou mı́rou vzájemné závislosti jednotlivých složek v́ıcerozměrných náhodných vektor̊u. Časté uplatněńı nacháźı předevš́ım v inženýrských aplikaćıch. Metody odhadu vzájemné informace většinou vycháźı ze známého vztahu mezi vzájemnou informaćı a entropiemi př́ıslušných rozděleńı, ale vzájemnou informaci je možné odhadnout také př́ımo. Na př́ıkladech r̊uzných typ̊u dvojrozměrných rozděleńı srovnáme některé dostupné metody odhadu vzájemné informace.